Chịu ảnh hưởng của cha, thời gian làm giáo viên tiểu học, ngoài việc dạy học cho lớp trẻ, Hà Huy Tập dạy chữ cho công nhân và dân nghèo. Ông trích tiền lương của mình để mua sách vở cho các học sinh nghèo của mình. Hoạt động của ông được một số trí thức trẻ khác tán đồng và giới thiệu ông tham gia vào một tổ chức chính trị có tên là Hội Phục Việt mà về sau hình thành nên Tân Việt Cách mạng Đảng.

Giữa năm 1926, Hà Huy Tập bị chính quyền thực dân sa thải và trục xuất khỏi Nha Trang. Tháng 8 năm 1926, ông tìm được công việc dạy học ở trường tiểu học Cao Xuân Dục (Vinh, Nghệ An). Tháng 3 năm 1927, ông chuyển vào Sài Gòn hoạt động, kiếm sống và dạy học ở An Nam học đường tức trường Nguyễn Xích Hồng.

Tháng 1 năm 1928, Hà Huy Tập lại bị sa thải khỏi An Nam học đường. Ông vẫn tiếp tục công việc dạy học và tuyên truyền cách mạng từ Bà Rịa, Biên Hòa, đến Sài Gòn, Gia Định.

Tháng 7 năm 1928, Hà Huy Tập ra Bắc, được giao nhiệm vụ liên lạc với Hội Việt Nam Cách mạng Thanh niên ngõ hầu tìm cách thống nhất tất cả các tổ chức chống thực dân Pháp vào một tổ chức hành động chung. Tháng 12 năm 1928, ông được cử sang Quảng Châu (Trung Quốc) để tham gia một khóa huấn luyện của Hội Việt Nam Cách mạng Thanh niên. Ấn tượng mạnh với tư tưởng của Nguyễn Ái Quốc và tác phẩm Đường Kách Mệnh, từ đó ông tích cực hoạt động trong Việt Nam Thanh niên Cách mạng Đồng chí Hội.

Ngày 19 tháng 7 năm 1929, Hà Huy Tập sang Liên Xô, học trường Đại học Lao động Cộng sản Phương Đông của Quốc tế Cộng sản ở Moskva với bí danh là Xi-nhi-trơ-kin (Синичкин). Cuối năm 1929, ông được kết nạp vào Đảng Cộng sản toàn liên bang (bôn-sê-vích). Trong thời gian này ông đã soạn thảo "Chương trình hành động của Đảng Cộng sản Đông Dương" và "Sơ thảo lịch sử phong trào Cộng sản ở Đông Dương".

Tháng 4 năm 1934, Hà Huy Tập tốt nghiệp khóa học và trở về Việt Nam. Trên đường đi ông bị Pháp bắt và bị trục xuất sang Bỉ, sau đó trở về Trung Quốc, được Quốc tế Cộng sản chỉ định tham gia Ban Chỉ huy Hải ngoại của Đảng Cộng sản Đông Dương, do Lê Hồng Phong là Bí thư. Từ ngày 16 đến ngày 21 tháng 6 năm 1934, Hội nghị Ban chỉ huy hải ngoại của Đảng Cộng sản Đông Dương và đại diện các tổ chức Đảng ở trong nước được tổ chức, gồm có Lê Hồng Phong, Hà Huy Tập, Nguyễn Văn Dựt, Nguyễn Văn Tham và Trần Văn Chấn. Hội nghị đã thông qua Nghị quyết Chính trị và Nghị quyết Về các vấn đề tổ chức.

Tháng 3 năm 1935, tại Đại hội I của Đảng ở Ma Cao, Lê Hồng Phong được bầu làm Tổng Bí thư. Hà Huy Tập được bầu vào Ban Chấp hành Trung ương và được cử vào cương vị Bí thư Ban Chỉ huy hải ngoại. Đến tháng 7 năm 1936, Ban Chỉ huy Hải ngoại của Đảng họp Hội nghị lần thứ nhất, Ban Chấp hành Trung ương cử ông về nước để lập lại Trung ương cấp ủy và giữ chức Tổng Bí thư từ ngày 26 tháng 7.[1] Ông trực tiếp chỉ đạo các báo L'Avant garde (Tiền phong) (1937), Dân chúng (1938) của Đảng dưới danh nghĩa "cơ quan lao động và dân chúng" ở Nam Kỳ.

Từ 3 tháng 9 đến 5 tháng 9 năm 1937, Hội nghị Trung ương họp ở Bà Điểm, Gia Định, Hà Huy Tập báo cáo kiểm điểm sự lãnh đạo của đảng từ sau Đại hội I đến năm 1937. Ngày 30 tháng 3 năm 1938, ông cùng Lê Hồng Phong chủ trì Hội nghị lần thứ 3 Ban chấp hành Trung ương Đảng tại Bà Điểm. Tại hội nghị này, ông thôi giữ chức Tổng bí thư, nhưng vẫn tham gia Thường vụ Trung ương Đảng. Người kế nhiệm ông là Nguyễn Văn Cừ.

Ngày 1 tháng 5 năm 1938, Hà Huy Tập bị bắt do có chỉ điểm trong khi tham dự ngày Quốc tế Lao động tại Sài Gòn. Ông bị trục xuất khỏi Nam Kỳ và bị đưa về quê chịu quản thúc. Đến ngày 30 tháng 3 năm 1940, ông bị bắt lại và đưa vào Nam Kỳ. Ngày 25 tháng 10 năm đó, ông bị thực dân Pháp xử tuyên án 5 năm tù giam. Tại phiên tòa này, Hà Huy Tập đã được một luật sư trẻ là Nguyễn Văn Huyền, người về sau này giữ chức Phó tổng thống Việt Nam Cộng hòa, làm luật sư biện hộ.

Ngày 25 tháng 3 năm 1941, chính quyền Pháp đổi bản án của Hà Huy Tập thành án tử hình vì "chịu trách nhiệm tinh thần về cuộc khởi nghĩa Nam Kỳ". Cùng bị kết án tử hình với Hà Huy Tập còn có Nguyễn Văn Cừ, Võ Văn Tần, Nguyễn Thị Minh Khai). Trước tòa ông tuyên bố: "Tôi chẳng có gì phải hối tiếc. Nếu còn sống tôi sẽ tiếp tục hoạt động".

Ngày 28 tháng 8 năm 1941, Hà Huy Tập bị chính quyền Pháp xử bắn cùng với một số người khác tại Sở Rác (nay là bệnh viện Hóc Môn, Sài Gòn).[2]

Nguyên văn bức thư cuối cùng của ông: "Sài Gòn 2/5/41. Em rể thân yêu. Ngày 25/9/1940, tôi bị Tòa đại hình Sài Gòn xử 5 năm tù. Ngày 25/3/1941 tôi bị tòa án binh Sài Gòn tuyên án tử hình về tội "hoạt động Cộng sản" và "xúi giục phá hoại Quốc phòng"... Cương nhận được thơ này thì nhớ viết thơ khuyên mẹ chớ khóc lóc buồn rầu. Nếu tôi phải chết thì ở nhà không nên thờ cúng, điếu phúng, không cần tìm người lập tự, gia đình bạn hữu chớ xem tôi là người đã chết mà phải buồn, trái lại xem tôi như là người còn sống, nhưng đi vắng một thời gian vô hạn... mà thôi!... Nếu tôi được khổ sai chung thân thì thường có thơ về thăm gia đình. Nếu chẳng may mà phải chết thì bức thơ này là thơ vĩnh biệt. Tôi chúc cho mỗi người trong gia đình và tất cả bạn hữu gần xa được hạnh phúc và khương minh".

Ngày 22 tháng 11 năm 2009, hài cốt của Hà Huy Tập được phát hiện tại khu vực Bến Tắm Ngựa thuộc xã Xuân Thới Thượng, huyện Hóc Môn, Thành phố Hồ Chí Minh[3]. Ngày 1 tháng 12 cùng năm, lễ viếng và truy điệu linh cữu ông được tổ chức tại Hội trường Thống Nhất Thành phố Hồ Chí Minh, đã có nhiều quan chức lãnh đạo của đảng và hàng trăm đoàn đại biểu từ các nơi đến chờ viếng. Sau đó, linh cữu ông được đưa về an táng tại huyện Cẩm Xuyên, tỉnh Hà Tĩnh.[4]